查看原文
其他

FDA推荐:连续变量的一致性评价『ATE/LER区域法』

李延龙 医咖会 2021-01-15

上一期我们聊到针对定量资料的一致性评价,除了相关系数(ICC)外,还可以用“画图”来搞定一致性评价,即Bland-Altman法和ATE/LER区域法,本期我们接着聊聊ATE/LER区域法



相对于Bland-Altman法,大家可能对ATE/LER区域法可能更陌生一些。该方法是美国FDA推荐用于评价定量测量一致性的指标[1]其主要原理是分析一种仪器(或方法)的测量结果与另一种仪器(或方法)测量结果的总体吻合度,并用图形直观地反映这一结果,最后结合临床意义,得出两种测量仪器(或方法)是否具有良好的一致性(是不是和Bland-Altman法原理如出一辙~~~)。



如上图所示,假定是甲方法目前常用的一种检测方法,而乙方法是待评价的检测方法。当两种检测方法完全一致时,散点的分布在图中的“对角线”y=x上。一般而言,散点围绕“对角线”上下波动。结合临床意义和统计学主要考虑两个区域:


① ATE区域(the Allowable Total Error zones),围绕y=x附近的浅灰色区域(假定两种方法误差允许范围为D nmol/L,该区域即为y=x-D与y=x+D之间),散点在该区域是临床上可以接受的,就总体而言,落入ATE区域内应超过95%,此外,考虑到抽样误差,还需要对该比例的单侧置信区间的下限予以限定,比如单侧95%置信区间的下限应大于92%(“92%”这个值的选取要考虑一致性评价的精度,精度要求的高低与所需样本量大小有关)。


② LER区域(the Zones of limits for Erroneous Results),图中最外围的深灰色区域,它的划分确定了两种检测方法的误差范围上限,即此区域内误差不可接受,并且散点数必须为0,若有散点落入此区域,表示两种检测方法的一致性差,检测方法不适用于临床应用。


同样,需要限定落入该区域比例的单侧置信区间的上限,比如不应单侧95%置信区间的上限应小于1%(同样,“1%”这个值的选取要考虑一致性评价的精度,精度要求的高低与所需样本量大小有关)。


总结一下,只有同时满足①②的判定要求,此时才可以认为两种检查方法一致性良好。


实际应用过程中,还要考虑测量指标的特征,一般来说数值越大误差相对也会越大。这时候对于ATE区域和LER区域的划分界值就不再是一个固定值D,比如上面举的例子±0.1nmol/L,而要针对测量指标进行“深度定制”——引入%R(即误差限制范围为测量数值的倍数)。


例如,对上述的例子做如下调整:当CM测得结果<1.5nmol/L,ATE区域被定义为CM±0.3nmol/L;当CM≥1.5nmol/L时,ATE区域被定义为CM±20%*CM。实际获得的ATE/LER区域图里各条界限不再是平行于“对角线”y=x的一条直线,而是一条折线,甚至可能是一条不平滑的曲线。


讲这么多理论,我们来实际操作一下。比如,我们想比较一下市面上两种品牌的手环监测心率一致性如何,共采集20位健康志愿者的数据,如下:



1. 绘制两种手环测得心率的散点图



2. 绘制对角线y=x



3. 根据临床确定的最大允许差异确定ATE和LER区域


这一部分是整个一致性评价最关键的部分,如何设定好ATE和LER区域的界限值以及相应95%CI的上限或下限,就需要结合临床和统计两方面的考虑。(以下标准仅为了本次演示,大家千万不要随意套用~~~)


a. ATE区域为:两种仪器测得心率偏差范围:当心率<80次/分时,应在±4次/分的偏差范围内;当心率≥80次/分时,应当在±5%的偏差范围内。


b. LER区域为:当心率<80次/分时,偏差在±12次/分以外;当心率≥80次/分时,偏差在±15%以外。



4. 计算各数据点落在ATE和LER区域的百分比


除了要报告各数据点落入ATE和LER区域的比例,还要报告ATE区域比例的95%CI下限值,以及LER区域比例的95%CI上限值,这里推荐使用Newcombe-Wilson得分法[2]来估计。



其中,n为样本量,p为落入ATE/LER区域的比例(以0.xx数据形式参与计算),q为1-p,z为α=0.05单侧值,即1.645。


本例结果如下:



结果:A和B两种手环测得心率数值落在ATE区域的比例为80.0%(95%CI下限为62.2%)远低于要求的95%(95%CI下限设定值92%),且落在LER区域的比例为5.0%(95%CI上限为19.6%)也远高于要求的0%(95%CI上限设定值1%)。综合考虑两种手环在测量心率的一致性方面较差(当然啦以上仅是模拟数据,大家千万不要有代入感~~~)


参考文献

1. Recommendations for Clinical Laboratory Improvement Amendments of 1988 (CLIA) Waiver Applications for Manufacturers of In Vitro Diagnostic Devices Guidance for Industry and Food and Drug Administration Staff. 2008

2. Stat Med. 1998;17: 857-72


更多阅读

1.【合集】36种统计方法的SPSS详细操作

2. 诊断试验的一致性检验,方法那么多,你捋清楚了吗?

3. 连续变量的一致性评价,教你一种图示法『Bland-Altman法』

医咖会微信:medieco-ykh

关注医咖会,轻松学习统计学~


有临床研究设计或统计难题?以下三种方式来帮你:

  • 加小咖个人微信(xys2016ykf),拉你进统计讨论群和诸多小伙伴一起交流。

  • 使用电脑进入医咖会官网:http://www.mediecogroup.com/,搜索类似问题及答案,或者直接提问!

  • 直接点击左下角“阅读原文”,提出你的难题!

    您可能也对以下帖子感兴趣

    文章有问题?点此查看未经处理的缓存